利用最大似然估计方法估计参数

机器学习实验三,详情请参考《模式分类》第二版第三章课后上机练习3.2节

实验环境:

Matlab2016a

实验内容:

给定以下w1和w2的三维数据,考虑不同维数下的高斯概率密度模型:

这里写图片描述这里写图片描述

(a)编写程序,对表格中的类w1中的3个特征,分别求解最大似然估计。
(b)修改程序,处理二维数据的情形。然后处理对表格中的类w1中的任意两个特征的组合(3种可能)。
(c)修改程序,处理三维数据的情形。然后处理表格中类w1中3个特征的组合。
(d)假设这个三维高斯模型是可分离的,即,写一个程序估计类别w2中均值和协方差矩阵的三个参数。

实验步骤:

在课本(模式分类第二版第三章)中,通过将似然函数最大化,我们可以得到以下针对高斯分布下的最大似然估计:

这里写图片描述
这里写图片描述

我们可以直接利用这俩公式来求每个特征的最大似然估计。对于(a࿰

  • 4
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
假设我们有一个弹簧阻尼系统,其包括一个弹簧和一个阻尼器,但是我们并不知道弹簧的刚度和阻尼器的阻尼系数。我们可以通过极大似然估计来辨识这两个参数。 首先,我们需要建立弹簧阻尼系统的数学模型,包括系统的运动方程和载荷情况。假设我们通过施加一个外力$f(t)$来激励该系统,那么该系统的运动方程可以表示为: $$m\ddot{x}+c\dot{x}+kx=f(t)$$ 其,$m$为系统的质量,$x$为系统的位移,$c$为阻尼系数,$k$为弹簧刚度。 接下来,我们需要采集系统在不同载荷情况下的位移、速度和加速度等数据。假设我们采集到了$n$组数据$(x_i,\dot{x}_i,\ddot{x}_i,f_i)$,其$i=1,2,\cdots,n$。 我们可以假设噪声服从均值为$0$,标准差为$\sigma$的正态分布,即$\epsilon_i\sim N(0,\sigma^2)$。那么,我们可以将观测数据的概率密度函数表示为: $$p(x_i,\dot{x}_i,\ddot{x}_i,f_i\mid k,c)=\frac{1}{(2\pi\sigma^2)^{\frac{n}{2}}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{n}\epsilon_i^2\right)$$ 根据最大似然估计的原理,我们需要找到一组参数$k$和$c$,使得观测数据出现的概率最大。因此,我们需要最大化似然函数: $$L(k,c)=\prod_{i=1}^{n}p(x_i,\dot{x}_i,\ddot{x}_i,f_i\mid k,c)$$ 取对数并对参数$k$和$c$求偏导数,可以得到: $$\frac{\partial \ln L(k,c)}{\partial k}=\frac{1}{\sigma^2}\sum_{i=1}^{n}\epsilon_i\frac{\partial \epsilon_i}{\partial k}$$ $$\frac{\partial \ln L(k,c)}{\partial c}=\frac{1}{\sigma^2}\sum_{i=1}^{n}\epsilon_i\frac{\partial \epsilon_i}{\partial c}$$ 其, $$\frac{\partial \epsilon_i}{\partial k}=\frac{\partial^2 x_i}{\partial t^2}+\frac{c}{m}\frac{\partial x_i}{\partial t}+\frac{k}{m}x_i-f_i$$ $$\frac{\partial \epsilon_i}{\partial c}=\frac{\partial x_i}{\partial t}+\frac{1}{m}\frac{\partial \epsilon_i}{\partial k}$$ 我们可以使用数值优化算法(如牛顿法、梯度下降法等)来求解最大似然估计参数$k$和$c$。 最后,我们需要对参数进行验证和优化,如果发现模型和实际数据存在较大差异,可以对模型进行修改并重新进行参数辨识,直到得到符合实际要求的模型和参数

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值